Komputasi telah mengalami perubahan mendasar dari diasuh untuk latensi rendah desain CPU ke berbasis throughput arsitektur GPU. Sementara CPU seperti sepeda motor pengantar cepat (cepat untuk satu paket), GPU adalah kapal kargo besar: gerakannya lebih lambat per barang, tetapi dapat membawa 50.000 kontainer sekaligus.

1. Latensi vs. Throughput

CPU dirancang untuk meminimalkan "waktu penyelesaian" untuk satu rangkaian instruksi menggunakan prediksi cabang yang canggih. Sebaliknya, Unit Pemroses Grafis (GPU) dirancang untuk memaksimalkan "pekerjaan per detik" dengan mengeksekusi ribuan thread secara paralel, menukar kecepatan thread tunggal demi throughput agregat yang sangat besar.

2. Alokasi Transistor

GPU menyediakan throughput instruksi dan bandwidth memori yang jauh lebih tinggi dibandingkan CPU dalam lingkungan harga dan daya yang serupa. GPU dirancang khusus untuk komputasi paralel yang sangat tinggi dan mengalokasikan lebih banyak transistor ke unit pemrosesan data (ALU), sementara CPU mengalokasikan lebih banyak transistor untuk penyimpanan cache data dan kontrol aliran.

3. Evolusi CUDA

Arsitektur Perangkat Terpadu Komputasi (CUDA) diperkenalkan oleh NVIDIA pada tahun 2006. Ini adalah platform komputasi paralel dan model pemrograman yang memungkinkan peningkatan performa secara dramatis dengan memanfaatkan kekuatan GPU tanpa bergantung pada API grafis.